草庐IT

hadoop 从 hdfs 复制到 S3

全部标签

ruby - 使用 s3 gem + rails 4.1.5 时不允许将 `@@{' 作为类变量名称(SyntaxError)

我知道已经有人问过这种类型的问题了。我使用s3gem将我的文件上传到s3存储桶中。但是在安装s3gem之后,当我启动railsserver时它显示了这个错误:/var/lib/gems/1.9.1/gems/aws-s3-0.6.3/lib/aws/s3/extensions.rb:223:in`class_eval':/var/lib/gems/1.9.1/gems/aws-s3-0.6.3/lib/aws/s3/extensions.rb:223:`@@{'isnotallowedasaclassvariablename(SyntaxError)/var/lib/gems/1.9.

ruby - 使用 rake 复制保留目录结构的文件

我的目标是将一组由模式指定的文件复制到目标目录。源目录中的文件可以有子目录。我试过:cp_r(Dir.glob('**/*.html'),@target_dir):和cp_r(FileList['**/*.html'],@target_dir):但都不起作用。它只在我做类似的事情时有效:cp_r(Dir['.'],@target_dir):但我只需要复制*.html文件而不是其他任何文件。我需要什么cp--parents命令确实对使用现有的Ruby/Rake方法有什么建议吗?更新看起来用Ant更容易做的事情,用Ruby/Rake堆栈是不可能的-可能我需要研究其他东西。我不想编写自定义代

ruby - 如何复制 ruby 变量?

也许我今天盯着屏幕看的时间太长了,但我认为应该是非常基本的东西却难倒了我。我正在尝试制作一个变量的“副本”,这样我就可以在不修改原始变量的情况下对其进行操作。#originalvarissetfoo=["a","b","c"]#iwantacopyoftheoriginalvarsoidontmodifytheoriginalbar=foo#modifythecopiedvarbar.delete("b")#outputthevaluesputsbar#outputs:["a","c"]-thisisrightputsfoo#outputs:["a","c"]-whyisthisals

ruby-on-rails - 在 Ruby 中为 S3 Bucket 生成预签名 URL 的推荐方法

我正在尝试在我的Rails服务器上生成一个预签名的url以发送到浏览器,以便浏览器可以上传到S3。aws-sdk-s3似乎是future可以使用的gem。但不幸的是,我还没有找到可以提供清晰度的gem文档。似乎有几种不同的方法可以做到这一点,如果对以下方法的区别有任何指导,我们将不胜感激-使用Aws::S3::Presigner.new(https://github.com/aws/aws-sdk-ruby/blob/master/aws-sdk-core/lib/aws-sdk-core/s3/presigner.rb),但它似乎没有接受对象参数或身份验证凭证。使用Aws::S3::

ruby-on-rails - 自动删除 Amazon S3 中超过 n 天的对象(如何?)

我在AmazonS3中存储了很多图像,使用ruby库(http://amazon.rubyforge.org/)我不关心超过1周的照片,然后为了释放S3中的空间我必须删除这些照片。我知道有一种方法可以删除某个桶中的对象:S3Object.delete'photo-1.jpg','photos'有没有办法自动删除一周前的图片?如果它不存在,我将不得不编写一个守护进程来做到这一点:-(谢谢更新:现在可以了,查看Roberto的回答。 最佳答案 您可以使用AmazonS3对象过期策略AmazonS3-ObjectExpiration|AW

ruby-on-rails - CarrierWave Backgrounder 没有将版本图像上传到 AWS S3

我使用带有RMagic的carrierwave0.10.0gem在AWSS3上上传图像。一切正常,只是在AWSS3上上传花费了太多时间。所以想到使用carrierwavebackgrounder在后台上传图片。我设置了carrierwavebackgrounder(0.4.2)但在这一个中我的原始文件总是上传到S3但该图像的版本永远不会上传到S3。这是我的carrierwave_backgrounder.rbCarrierWave::Backgrounder.configuredo|c|c.backend:sidekiq,queue::carrierwaveend我已经在sidekiq

ruby - 从 Amazon S3 流式传输动态 zip

我正在寻找一种从AmazonS3动态流式下载zip文件的方法。应用程序托管在EC2上,文件存储在S3上。需要让用户能够从一组文件中进行选择,然后将这些文件打包并下载给他们。听说过一些可能可行的Actionscript库(aszip和fzip),或者可以在Ruby或什至PHP中执行此操作。文件不需要任何压缩,zip只是用于将文件捆绑到一个下载中.... 最佳答案 我使用NginxZipModule流式传输本地文件,但可以选择从远程位置流式传输。否则,您可以将它与VFS安装的S3存储一起用作本地文件系统。支持seek-断点续传和加速下载

ruby - 为什么我的带有 ANSI 颜色代码的 IRB 提示通过复制/粘贴弄乱了翻页/翻页行为?

我添加到我的.irbrc:IRB.conf[:PROMPT].reverse_merge!(:RAILS_ENV=>{:PROMPT_I=>"#{current_app}#{rails_env}#{prompt}",:PROMPT_N=>"#{current_app}#{rails_env}#{prompt}",:PROMPT_S=>nil,:PROMPT_C=>"?>",:RETURN=>"=>%s\n"})IRB.conf[:PROMPT_MODE]=:RAILS_ENV如果我这样做:current_app="\e[31mfoo_bar_app\e[0m"rails_env="\e

ruby - 我怎样才能将这段代码转换为元编程,这样我就可以停止复制它了?

我有一个用于building.netsystemswithruby/rake的小但不断增长的框架,我已经研究了一段时间了。在此代码库中,我有以下内容:require'rake/tasklib'defassemblyinfo(name=:assemblyinfo,*args,&block)Albacore::AssemblyInfoTask.new(name,*args,&block)endmoduleAlbacoreclassAssemblyInfoTask此代码遵循的模式在框架中重复了大约20次。每个版本的区别在于正在创建/调用的类的名称(而不是AssemblyInfoTask,它可

上传到 S3 时 Ruby Backup gem 失败。 37 分钟后连接重置

备份为250MB。我认为这不是很大,但问题似乎随着规模的增加而增加。从下面的备份gem登录。注意时间跨度;上传大约37分钟后,我收到了连接重置。[2015/10/3009:20:40][message]Storage::S3startedtransferring'2015.10.30.09.20.01.myapp_postgres.tar'tobucket'myapp-backups'.[2015/10/3009:57:06][error]ModelError:BackupforBackupPostgreSQL(myapp_postgres)Failed![2015/10/3009:5